Cha ông là ông Hồ Văn Mẹo và mẹ là bà Nguyễn Thị Dự. Ông là con thứ 3 trong gia đình 9 anh chị em, tuy nhiên người thứ 2, thứ 5 và 6 chết lúc còn nhỏ, nên còn lại 6 người.

1. Thứ hai: Hồ Thị Huy
2. Thứ tư: Hồ Hảo Hớn
3. Thứ bảy: Hồ Nguyệt Thu
4. Thứ tám: Hồ Hảo Nghĩa
5. Thứ chín: Hồ Nguyệt Tâm
6. Thứ mười: Hồ Hảo Hiệp

Do ảnh hưởng cha trọng tri thức, dành phần lớn tiền của lo cho các con ăn học, nhiều người con trong gia đình làm nghề dạy học như Hồ Thị Huy, Hồ Hảo Hớn, Hồ Nguyệt Thu, Hồ Hảo Nghĩa.

Bà Nguyễn Thị Dự được Nhà nước Việt Nam phong tặng danh hiệu Bà mẹ Việt Nam anh hùng vì có ba con ruột (Hồ Hảo Hớn, Hồ Hảo Nghĩa và Hồ Hảo Hiệp) và một người con rể (Phạm Hoàng Hổ, chồng bà Hồ Thị Huy) là liệt sĩ.

Ông lập gia đình với bà Lê Thị Kim Hoàn. Con gái lớn của 2 người tên Hồ (Thị) Mỹ Chi.